Harrer asistió a la escuela secundaria en Görlitz. Tras la muerte de su padre en 1716, la familia se trasladó a Dresden en 1719. Después de estudiar derecho en la Universidad de Leipzig desde el 15 de mayo de 1722 hasta al menos el 21 de abril de 1725, viajó a Italia a expensas del conde Heinrich von Brühl para estudiar música. Alrededor de 1730, Harrer se convirtió en miembro de la Banda Electoral Sajona y Real Polaca. De 1731 a 1750 trabajó en la capilla-coro del Reichsgraf Heinrich von Brühl en Dresden. De 1738 a 1741 viajó a Italia. Después de su regreso, el Conde Brühl lo nombró Kapellmeister.

Edición discográfica con una obra de Johann Gottlob Harrer

El 8 de agosto de 1750, 11 días después de la muerte de Johann Sebastian Bach, el ayuntamiento de Leipzig eligió a Harrer como su sucesor como Thomaskantor en Leipzig, rechazando a C.P.E. Bach, A. F. Graun, J. L. Krebs y J. G. Görner. Como dejan en claro los procedimientos del ayuntamiento, se vieron menos influenciados por el talento musical de Harrer que por su voluntad de enseñar y su recomendación casi perentoria del conde Brühl, entonces el gobernante efectivo de Sajonia. Según Mennicke, Harrer fue nombrado compositor de cámara del tribunal electoral real de Sajonia en abril de 1755, tres meses antes de su muerte a los 52 años de edad..

Harrer contribuyó al menos con una composición (el oratorio “Gioas, Rè di Giuda”) al semanario Grosse Konzert, en la Semana Santa de 1753. Si bien dedicó algún tiempo a la especulación musical (especialmente en su “Specimen contrapuncti duplicis”), y copió, arregló e interpretó muchas piezas en estilo antico ( Palestrina, Fux), la mayor parte de su propia música era de un elenco progresivo e italiano, con solo secciones ocasionales en estilo fugal o a cappella. Probablemente fue influenciado por J. A. Hasse en Dresden, e incluso puede haber estudiado con él en Italia. Nada de la música de Harrer se imprimió durante su vida, y casi nada desde entonces, aunque muchas de sus composiciones se ofrecieron en los catálogos de Breitkopf de 1761-9. Compuso mucha música instrumental, incluidas 27 sinfonías, 24 suites orquestales, 51 dúos de flauta y una serie de de sonatas para clavecín. También escribió dos misas para coro y orquesta, una misa para voces no acompañadas, 47 cantatas y varios oratorios, pasiones, salmos y motetes.